Ân Hạo xuất thân trong một gia đình thế tộc. Cha của ông là Ân Tiện, tên tự là Hồng Kiều (洪喬), làm quan đến chức thái thú Dự Chương trong triều đình[2]. Lúc sinh thời Ân Tiện chiêu tập nhiều bậc danh sĩ, trí giả hơn 100 người, trở nên rất nổi tiếng. Không rõ Ân Hạo được sinh năm nào và mẹ của ông là ai.

Ân Hạo được sử sách mô tả là người có tài năng và cũng khá nổi tiếng ngay từ lúc nhỏ. Ông có quan hệ tốt với chú là Ân Dung. Do thanh danh của mình nên Ân Hạo được Chinh Tây tướng quân Dữu Lượng (cậu ruột của Tấn Thành Đế) tuyển mộ, sau đó ít lâu bổ làm Tư đồ tả trưởng sử[3]. Về sau, Ân Hạo lại được Chinh Tây tướng quân mới là Dữu Dực tiến cử. Triều đình nghe theo, bổ nhiệm ông làm Thị trung, An Tây quân ti, nhưng ông xưng có bệnh, không nhận chức quan rồi trở về quê, ẩn cư hơn 10 năm.

Trong vòng 10 năm ẩn cư, Ân Hạo nhiều lần được mời về triều đình nhưng ông đều từ chối. Tướng Giang Hạ là Tạ Thượng và Huyện lệnh Trường Sơn Vương Mông thường khuyên ông nhận chức cũng không được. Trong triều, các đại thần liên tiếp tiến cử Ân Hạo. Năm 346 thời Tấn Mục Đế, Vệ tướng quân Trữ Bầu tiến cử ông làm Kiến Vũ tướng quân, Thứ sử Dương châu nhưng Ân Hạo viết thư chối từ.